Vào năm 1911, Công tước De Montpensier qua Việt Nam du lịch và săn bắn. Nhận thấy phong cảnh tại những ngọn đồi xung quanh Phan Thiết rất hữu tình, nên ông đã mua lại mảnh đất rộng 536m2, cách Tháp Po Sah Inư 100 m về hướng nam đê xây dựng biệt thự.

Tòa biệt thự được khởi công xây dựng ngày 21 tháng 2 năm 1911 với quy mô 13 phòng rộng cùng nhiều tiện nghi phụ trợ, như máy phát điện đặt dưới tầng hầm, bể chứa nước có thể dùng đủ cả năm. Khi xây xong, biệt thự được xem là công trình hiện đại nhất Bình Thuận lúc bấy giờ. Tên gọi Lầu Ông Hoàng xuất phát từ cách gọi dân dã của người dân về sự sang trọng của vị công tước người Pháp cư ngụ ở đây. Lầu Ông Hoàng có một vị trí đẹp, cao 105 m so với mặt nước biển, cách trung tâm Thành phố Phan Thiết 7 km nằm trên khu vực đồi Bài Nài.

Tháng 7 năm 1917, Công tước De Montpensier bán lại biệt thự cho một chủ khách sạn người Pháp tên là Prasetts. Sau này, vua Bảo Đại mới mua lại nó. Sau khi thực dân Pháp quay trở lại xâm lược Việt Nam năm 1945, quân Pháp đã xây dựng một hệ thống đồn bót với nhiều lô cốt để canh giữ toàn vùng Phan Thiết. Lầu Ông Hoàng trở thành nơi diễn ra nhiều trận đánh ác liệt. Kể từ đó trở đi, Lầu ông Hoàng không còn được ai chăm nom và dần trở nên xuống cấp, hoang phế.